我的自然主义觉醒
❦
❦
在上一回里，Eliezer2001 正在对真相打一场殿后战。他只是一点一点地调整自己的信念，对另一种情景承认越来越高的概率，却从来不肯直接说出：「我以前错了。」他会在原有策略受到挑战时修补它们，为自己之前一直在执行的同一套计划再找出新的理由。
（因此才有这句话：「当心，别对着证据打一场殿后撤退；只有在被迫时才每退一步都不情不愿，还觉得自己吃了亏。要尽可能快地向真相投降。只要你意识到自己正在抗拒什么，就立刻这么做；只要你看见证据之风正从哪一边朝你吹来，就立刻这么做。」）
记忆会褪色，而我几乎无法忍受回头去看那段时期——不，是真的，我受不了读自己的旧文。那些当时在场的人甚至已经纠正过我一次，说我的回忆有误。所以，虽然重要事件我还记得，我却并不真知道它们到底是按什么顺序发生的，更别说是哪一年了。
但如果一定要我挑一个自己那套愚蠢终于崩塌的时刻，我会选我第一次在完全一般的层面上理解了优化过程这一概念的那一刻。那是我第一次回头看自己，并说出：「我一直是个蠢货。」
再往前，在 2002 年，我曾写过一点关于人类一般智能的进化心理学的东西——尽管那时我以为自己写的是 AI；在这个阶段，我自认为已经反对拟人化的智能观了，但我仍然在从人脑那里寻找灵感。（这里说的是论文《Levels of Organization in General Intelligence》；它原本是文集 Artificial General Intelligence 邀请撰写的一章，1 而这本文集最后直到 2007 年才正式出版。）
所以我那时一直在思考（也一直在写）自然选择究竟是如何咳嗽般地咳出了人类智能；在我眼里，它们之间存在一种二分：自然选择的盲目性，与智能前瞻的远见；通过模拟来推理，与把一切都在现实中实际演完；抽象思维，与具体思维。可偏偏又是自然选择创造了人类智能，因此我们的大脑——虽然不是我们的思想——完全是按照自然选择的签名制造出来的。
直到今天，这在我看来仍然是一条相当震撼的洞见，所以每当人们把自然选择和由智能驱动的过程一股脑归到「evolutionary」这个篮子里，我都会被气得抓狂。它们在许多重要方面确实几乎截然不同——尽管也有一些共同概念可以同时描述它们，比如结果主义与跨领域普适性。
但 Eliezer2002 竟会以进化与智能之间存在二分来思考，这本身就说明了他眼界的局限——就像有人把政治看成保守与自由两种立场之间的二分，或者把水果看成苹果与草莓之间的二分一样。
在《Levels of Organization》的草稿被在线发表后，Emil Gilliam 指出，我对 AI 的看法似乎和我对智能的看法相当相似。当然，Eliezer2002 并不主张按人类心智的模样去构建 AI；Eliezer2002 很清楚，人类心智不过是自然选择勉强咳出来的一个 hack。但 Eliezer2002 已经描述了人类思维中的这些组织层级，却没有提议在 AI 中使用不同的组织层级。Emil Gilliam 问我，我是不是太贴近人类这条线了。我把另一种方案命名为「完全异类心智设计（Completely Alien Mind Design，CAMD）」，并回答说：即便它在理论上可行，CAMD 对人类工程师来说大概也太难构造了，因为我们在把那东西拼起来时，根本无法理解某种如此异类的东西。
我不知道 Eliezer2002 这套回答究竟是自己想出来的，还是从别处读来的。不用说，从那之后我已经听过无数次这种借口了。事实上，只要你真正理解了一样东西，你通常就能把它重组出几乎任何形状，同时保留其中某种结构本质；但当你并不理解飞行时，你就会以为飞行机器非得有羽毛，因为你无法想象脱离鸟的类比。
因此，从某种意义上说，Eliezer2002 仍然依附于类人心智设计——他设想的是如何改进它们，但人类的架构在某种意义上仍然是他的出发点。
究竟是什么最终打破了这种依附？
这是个挺丢脸的坦白：它来自我当时试图写的一篇科幻故事。（不，你看不到；它还没写完。）那个故事里有一种非认知、非进化的优化过程，类似于结果泵。它不是智能，而是一种跨时间的物理效应——至少我当时是把它想象成一种物理效应——会把可能结果的空间狭窄地约束住。（我没法再多说了；要是哪天我真把故事写完，这就算剧透了。你只要去看关于结果泵的那篇文章就行。）那「只不过是个故事」，所以我可以自由地玩弄这个想法，并把它按逻辑一路展开：C 被约束为必须发生，因此过去的 B 也被约束为必须发生，因此导向 B 的 A 也被约束为必须发生。
通常人们都认为，只凭一个点就画一条线是危险的。两个点会构成一种二分；你会把它们想成彼此对立。但当你有了三个不同的点——那时候，你才会被迫醒来并开始一般化。
现在，我有了三个点：人类智能、自然选择，以及我虚构出来的剧情装置。
而就在那一刻，我把优化过程这一概念一般化了：所谓优化过程，就是一种把未来挤压进可能性中的一片狭窄区域的过程。
如果你这一路都在读 Overcoming Bias，这听起来也许像个显而易见的点；但如果你去看看 Shane Legg 收集的 71 种智能定义，你就会发现，「把未来挤压进一个受约束区域」这句回答，其实远没有它看上去那么显然。
AI 研究者给出的许多「智能」定义，确实都会谈到「解决问题」或「实现目标」。但至少从过去那些 Eliezer 的视角看，只有事后回看时，这两者才会显得和「挤压未来」是同一回事。
目标是一种心智化对象；电子没有目标，也不会解决问题。当一个人类去想象目标时，他想象的是一个被某种「想要性」灌注进去的行动者——那仍然是共情式语言。
你完全可以拥护这样一种观念：智能就是关于「实现目标」——然后转头就开始争论，某些「目标」是不是比另一些更好——或者开始谈论，在目标彼此之间作判断需要何种智慧——或者谈论，一个系统如何刻意修改自己的目标——或者谈论，为了选择那些能实现目标的计划，需要怎样的自由意志——或者谈论，一个 AI 如何意识到它的目标并不是程序员真正想让它去实现的东西。如果你想象的是某种像结果泵那样、把未来挤压进可能性中一片狭窄区域的东西，那么这些看似有道理的说法就会不知为何统统翻译不过去了。
所以，至少对我而言，穿透「心智」这个词，看见一个物理过程——它仅仅通过自然运转，仅仅通过服从物理定律，就会把自己的未来挤压进一片狭窄区域——这是一次超越了「某个行动者试图实现其目标」这一观念的自然主义启蒙。
那感觉就像是从一个深坑里跌了出来，跌回平凡世界；绷紧的认知张力松弛成一种不费力的简洁，困惑化作烟雾飘散。我看见了智能所完成的工作；所谓聪明不再是一种属性，而是一台引擎。它像时间中的一个结，让宇宙外部那部分在内部回响，并因此引导它。我甚至还在同一道启明的闪光里看见了：为了服从热力学定律，一个心智必然得向外输出废热。
此前，Eliezer2001 把 Friendly AI（友好型 AI）说成是一种「只是为了稳妥起见你也该去做」的东西——如果你不知道 AI 设计 X 会不会是友好的，那你就真的应该转去选择那个你确实知道会是友好的 AI 设计 Y。但 Eliezer2001 当时并不认为自己知道：是否真的可能存在一种把自己未来光锥变成回形针的超级智能。
可现在，我却能看见它了——优化过程的脉搏，感知信息汹涌灌入，动作指令汹涌而出，驾驭着未来。中间则是把可能行动与可能结果连接起来的模型，以及覆盖这些结果的效用函数。只要把相应的效用函数放进去，出来的就会是一个能把未来导向任何地方的优化器。
直到那一刻之前，我都从未真正向自己承认：Eliezer1997 的 AI 目标系统设计一定会、毫无疑问地、毫无意义地抹掉整个人类物种。可到了这时，我回头再看，终于能够看出我那套旧设计实际上在做什么了——至少在它还足够自洽、足够能被拿来谈论的程度上。粗略地说，它会把自己的未来光锥转化成通用工具——没有程序可运行的计算机、没有用途可用的储存能量……
……我这个自诩老练、训练有素的理性主义者——我他妈到底怎么会漏掉这么显而易见的东西，整整六年？
那就是我头脑清明地醒来、终于记起一切的时刻；而我带着几分尴尬想道：我一直都很蠢。
Ben Goertzel 与 Cassio Pennachin 编，《Artificial General Intelligence》，Cognitive Technologies（Berlin：Springer，2007），doi:10.1007/978-3-540-68677-4。↩︎